Modeling Task Effects in Human Reading with Neural Attention

Humans read by making a sequence of fixations and saccades. They often skip words, without apparent detriment to understanding. We offer a novel explanation for skipping: readers optimize a tradeoff between performing a language-related task and fixating as few words as possible. We propose a neural architecture that combines an attention module (deciding whether to skip words) and a task module (memorizing the input). We show that our model predicts human skipping behavior, while also modeling reading times well, even though it skips 40% of the input. A key prediction of our model is that different reading tasks should result in different skipping behaviors. We confirm this prediction in an eye-tracking experiment in which participants answers questions about a text. We are able to capture these experimental results using the our model, replacing the memorization module with a task module that performs neural question answering

Using foreign inclusion detection to improve parsing performance

Inclusions from other languages can be a significant source of errors for monolin-gual parsers. We show this for English in-clusions, which are sufficiently frequent to present a problem when parsing German. We describe an annotation-free approach for accurately detecting such inclusions, and de-velop two methods for interfacing this ap-proach with a state-of-the-art parser for Ger-man. An evaluation on the TIGER cor-pus shows that our inclusion entity model achieves a performance gain of 4.3 points in F-score over a baseline of no inclusion de-tection, and even outperforms a parser with access to gold standard part-of-speech tags.

Extraposition in HPSG

Gegenstand dieser Arbeit ist die Extraposition der Projektionen PP, VP und S. Es wird Komplement- und Adjunkt-Extraposition sowie die Extraposition aus NPs und VPs berücksichtigt. Die Interaktion von Extraposition und Topikalisierung wird untersucht, ebenso ein möglicher Unterschied zwischen Extraposition aus Subjekten und Objekten. Ein weiterer Aspekt ist die Serialisierung bei Extraposition, d.h. die möglichen Abfolgen mehrerer zusammen auftretender extraponierter Phrasen. Als empirische Generalisierung ergibt sich, dass die Unterscheidung zwischen Adjunkten und Komplementen bei extraponierten Phrasen keine Rolle spielt. Aus Subjekten und Objekten kann gleichermaßen extraponiert werden. Sowohl Topikalisierung aus extraponierten Phrasen als auch Extraposition aus topikalisierten Phrasen ist möglich. Extraktionsinseln spielen für Extraposition offenbar keine Rolle. Eine extraponierte Phrase muss jedochn innerhalb des Satzes abgebunden werden, in dem ihr Antezens lokalisiert ist. Außerdem zeigt sich, dass keine Extraposition aus extraponierten Elementen möglich ist. Es können keine klaren Abfolgebeschränkungen bei Mehrfach-Extraposition festgestellt werden, insbesondere können Sätze frei im Nachfeld angeordnet werden. PPs müssen jedoch den sententialen extraponierten Elementen vorangehen. Für die damit unverträglichen Generalisierungen von Haider (1994), der eine Stellungsregel annimmt und von Wiltschko (i.E), die eine verschlachtelte Anordung im Nachfeld fordert, kann ausreichend Gegenevidenz angeführt werden. Die gefundenen Generalisierungen werden in HPSG umgesetzt, indem eine Anzahl lexikalischer Regeln angenommen wird, die eine nichtlokale Abhängigkeit zwischen Antezedens und extraponierter Phrase einführen. Diese Abhängigkeit wird über ein zusätzliches nichtlokales Merkmal EXTRA realisiert. Im Rahmen der revidierten HPSG (nach Pollard/Sag 1994: Kap. 9) können die vorgestellten Regeln zu einer einzigen zusammengefasst werden. Außerdem untersuchen wir die Möglichkeit, Extraposition durch Unterspezifikation analog zu Frank (1994) zu analysieren. Der phrasenstrukturelle Teil der vorgestellten Analyse geht davon aus, dass Extraposition und Topikalisierung hierarchisch nicht zu unterscheiden sind, d.h. extraponierte und topikalisierte Phrasen müssen auf gleicher Ebene abgebunden werden. Dabei entsteht eine flache, mehrfachverzweigende Struktur oberhalb der Satzprojektion. Die verschiedenen dislozierten Elemente werden durch Präzedenzregeln zueinander geordnet. Die vorgestellte Analyse lässt sich auf eine Reihe weiterer Phänomene im Zusammenhang mit Satz-Extraposition erweitern. Die Verteilung möglicher Antezedentien extraponierter Sätze kann auf lexikalische Regelmässigkeiten zurückgeführt werden, ebenso die Tatsache, dass bei bestimmten Verben das Sat-Komplement obligatorisch extraponiert werden muss. Außerdem dokumentiert diese Arbeit eine Implementierung der vorgeschlagenen Extrapositions-Analyse im Formalismus STUF-III

1927-05-13, Letter from Frank Keller to Fellow Workers

PDF is transcript only.https://digitalcommons.biola.edu/hunan-docs/1040/thumbnail.jp